Command R+
cohereのLLM
Claude 3 Opus.icon特徴
Retrieval Augmented Generation (RAG)に最適化されており、企業の実用的なユースケースに適している
10の主要言語に対応したマルチリンガルモデル
ツールの使用により複雑なビジネスプロセスの自動化が可能
同等の機能を持つ他社モデルと比べ、高いコストパフォーマンス
Azureなどのクラウドプラットフォームで利用可能
https://gyazo.com/2292b02d48a6923d7789599159b5dfad
Claude 3 Opus.icon
Command R+モデルの最大コンテキスト長は131,072トークン
ただし、実際にこの長さのコンテキストを使用するには、非常に大容量のVRAMを搭載したGPUが必要になります。
例えば、Command R+ 5.0bpw (5-bit per weight)の量子化版モデルを使う場合、12GBのVRAMでは約9,000トークン程度のコンテキストが限界という報告があります。
より長いコンテキストを使うには、より大容量のVRAMを搭載したGPUか、より高い圧縮率の量子化モデル（3.0bpwなど）を使う必要があります。
ただし量子化率を上げるとパフォーマンスが低下する可能性があるので、トレードオフを考える必要があります。
驚くことにCommand R+はダウンロードしてローカル環境で利用することも可能だ。
CC-BY-NC（表示-非営利）ライセンスなので、ユーザーは非営利目的に限り自由にモデルを使用、複製、改変、再配布することができる。しかも通常は公開されることのない学習済みの重み（ウェイト）も公開されているため、環境さえ揃えればローカルでLLMを動かすことができるのだ。
ただし、重みが公開されていることで、モデルの悪用や無断使用のリスクも高まるため、CC-BY-NCライセンスに加えてC4AI（Cohere For AI）の利用規約によって、責任ある使用を求めている。
試したい
Claude 3 Opus.icon
このモデルカードによると、C4AI Command R+は以下のような特徴を持っています。
1040億のパラメータを持つ非常に大規模なモデル
Retrieval Augmented Generation (RAG)や高度なツール使用機能を備えている
英語、フランス語、スペイン語、イタリア語、ドイツ語、ブラジルポルトガル語、日本語、韓国語、アラビア語、簡体字中国語の10言語で高い性能を発揮する多言語モデル
特に日本語については、モデルの最適化言語の1つとして挙げられており、日本語でも十分に使えるものと思われます。
モデルの利用方法については、Hugging Faceのリポジトリから重みをダウンロードし、提供されているサンプルコードを参考に推論を行うことができるようです。ただし、CC-BY-NCライセンスのため非営利目的での利用に限られます。
また、Hugging Face上に公開されているデモンストレーション用のスペースで、実際にC4AI Command R+を試すこともできるとのことです。